Istana Baoan telah mengalami tiga kerosakan peninggalan budaya yang berat: kali pertama adalah kebakaran kecil pada tahun 1960-an dan 1970-an. Pada masa itu, ia disebabkan oleh lilin di kuil, yang membakar beberapa barang di kuil tengah, seperti pedang, jarum Wuying, dsb., dan Patung Sanping Patriarch berusia 200 tahun. Mujur keseluruhan patung itu masih terpelihara dengan baik, hanya sebahagian kecil sahaja yang hangus dijilat api dan dihitamkan dengan asap hitam.

Kali kedua adalah pada akhir 1980-an, apabila rasuk kayu apse runtuh akibat hujan lebat dan serangan anai-anai. Tiada siapa yang cedera kerana tiada pengawal ketika itu, tetapi kebanyakan dokumen direndam dan bertukar menjadi timbunan kertas buangan, termasuk peninggalan budaya dan rekod sejarah Istana Baoan.

Kali ketiga ialah pada tahun 2006, apabila Lembaga Pengarah Istana Baoan menyerahkan semua plak kuno itu kepada pengeluar di Bukit Nammei, Melaka untuk penyelenggaraan. Pada malam sebelum penyerahan selepas pembaikan selesai, kilat menyambar bilik cat kilang dan terbakar. Keseluruhan bilik cat musnah, termasuk beberapa plak yang diamanahkan oleh Istana Baoan untuk dibaiki, termasuk sekeping Jiaqing Sepuluh Dalam enam tahun (1811), plak senarai itu telah dibina semula [6], yang juga merupakan kumpulan peninggalan budaya terbesar yang hilang di Istana Baoan dalam beberapa dekad kebelakangan ini.